Überblick

Die Aufgabenanalyse bewertet die Qualität der Aufgaben und die Testanalyse jene des Gesamttests. Die Kennzahlen des nächsten Abschnitts werten die Antworten auf eine bestimmte Frage statistisch aus und legen Verbesserungen der Aufgabenstellung nahe. Hier die wichtigsten Steuerelemente:

Funktion	Zweck
	geht zum nächsten Test
|	geht zum allerletzten Test
»Trennschärfen	berechnet die Trennschärfen der Mehrfachwahl- und Zuordnungsaufgaben

Qualititätskennzahlen

Die Qualität einer Aufgabe lässt sich an den Kennzahlen Schwierigkeit, Trennschärfe und Alternativenhäufigkeit beurteilen. Die Schwierigkeit beantwortet die Frage, wie gross der Anteil der TeilnehmerInnen eines Tests ist, der die Aufgabe falsch gelöst hat. Die Trennschärfe beschreibt, wie gut eine Aufgabe zwischen den insgesamt besseren und schlechteren TeilnehmerInnen eines Tests trennt. Die Alternativenhäufigkeiten beurteilen schliesslich die Qualität von Mehrfachwahl-Alternativen.

Wir berechnen zuerst die die Schwierigkeit und Trennschärfe an einem Beispiel: 

Gegeben sei eine Aufgabe, die von 200 TeilnehmerInnen bearbeitet worden ist. 110 haben die Aufgabe falsch gelöst. Von der insgesamt (im ganzen Test) besseren Hälfte haben die Aufgabe 60 richtig gelöst (br). Von der schlechteren Hälfte haben hingegen nur 30 die Aufgabe richtig gelöst (sr).

Die Schwierigkeit der Aufgabe ist 110/200 = 0.55. 55% der Studierenden haben also die Aufgabe falsch gelöst. Je mehr TeilnehmerInnen eine Aufgabe falsch lösen, desto grösser wird die Schwierigkeit. 

Die Trennschärfe ist 100%, wenn eine Aufgabe perfekt zwischen der insgesamt besseren und der insgesamt schlechteren Hälfte trennt. In diesem seltenen Fall lösen alle insgesamt besseren Teilnehmer die Aufgabe richtig und alle insgesamt schlechteren Teilnehmer die Aufgabe falsch. Die Trennschärfe berechnet man wie folgt: Wenn n die Gesamtzahl der Teilnehmer ist, so lautet die Formel (br-sr) / n/2. Im obigen Beispiel ist die Trennschärfe (60-30) / 100 = 0.3. Allgemein werden die beiden Kennzahlen wie folgt definiert:

Zusammenfassend:

• Schwierigkeit = Falschlösungen / Lösungen

• Trennschärfe = (Richtiglösungen aus besserer Hälfte - Richtiglösungen aus schlechterer Hälfte) / Hälfte

Eine Aufgabe mit hoher Trennschärfe trennt gut zwischen besseren und schlechteren Teilnehmern. Ein Test aus Aufgaben mit niedriger Trennschärfe kann deshalb nicht selektiv sein. Ein nicht selektiver Test kann aber trotzdem sinnvoll sein - zum Beispiel dann, wenn er - zwar ohne zu selektieren - nachweisen kann, dass fast alle TeilnehmerInnen die Lernziele erreicht haben. Eine maximale Trennschärfe wird durch eine mittlere Aufgabenschwierigkeit ermöglicht. Eine Aufgabe, die von fast keinen oder fast allen Teilnehmern gelöst wird, beschränkt die Trennschärfe von vornherein.

Für die Erstellung selektiver Tests gelten deshalb die folgenden Regeln:

1. Bevorzugen Sie Aufgaben mittlerer Schwierigkeit. 

Entfernen Sie zum Beispiel Aufgaben mit einer Schwierigkeit von weniger als 0.2 und von mehr als 0.7 aus der Testdatenbank. Sie erhöhen so auch die Wahrscheinlichkeit einer guten Trennschärfe.

2. Entfernen Sie Aufgaben ungenügender Trennschärfe aus der Testdatenbank.

Entfernen Sie zum Beispiel Aufgaben mit einer Trennschärfe von weniger als 0.2 (Die Trennschärfe kann negativ werden, wenn br < sr, und 0, wenn br = sr).

Neben der Berechnung von Schwierigkeit und Trennschärfe bietet sich für Mehrfachwahlaufgaben die sogenannte Distraktorenanalyse an. Distraktoren sind falsche Mehrfachwahlalternativen. Wird ein Distraktor nie oder selten angekreuzt, bezeichnet man ihn als "Känguruh". Je mehr Känguruhs (unattraktive Distraktoren) in einer Mehrfachwahlaufgabe vorkommen, desto grösser wird die Ratewahrscheinlichkeit. 

Ziel der Distraktorenanalyse ist es, Mehrfachwahlaufgaben so lange zu verbessern, bis die Ratewahrscheinlichkeiten aller Alternativen für den uninformierten Testteilnehmer etwa gleich sind. Beachten Sie deshalb bei der Aufgabenauswahl die folgende Regel:

3. Verbessern Sie Distraktoren, die von weniger als 10% der Testteilnehmer markiert wurden.

Operationalisierung in TESTS

Berechnung der Kennzahlen

Die Tabelle beschreibt die Berechnung der oben definierten Kennzahlen durch TESTS:

Der Begriff der "richtigen" Lösung bei der Berechnung der Trennschärfe ist nur für Mehrfachwahlaufgaben eindeutig. Eine Mehrfachwahlaufgabe mit genau einer richtigen Alternative ist immer entweder richtig oder falsch. Zuordnungs- und Essayaufgaben sind hingegen meist nur mehr oder weniger richtig. Bei Zuordnungsaufgaben besteht ein Ausweg darin, für jedes Zuordnungspaar eine Trennschärfe zu berechnen. Eine andere Möglichkeit bezeichnet Zuordnungs- und Essaylösungen dann als richtig, wenn sie einen bestimmten Punktwert nicht unterschreiten. TESTS berechnet deshalb nur die Trennschärfe ganzer Mehrfachwahlaufgaben und einzelner Zuordnungsalternativen.

Schwellenwerte

Die folgende Tabelle nennt die Bedingungen, unter denen TESTS einen Kennzahlwert orange markiert. Versuchen Sie Aufgaben mit orange markierten Werten zu verbessern.

Punktevergabe

Notenvergabe

Testanalyse